AI Papers Daily

#Memory Optimization

5 篇

MemSteer: Turning User Histories into Supervision for Agent Memory Optimization

MemSteer：将用户历史转化为智能体记忆优化监督

🧭 智能体记忆设计自动优化 ★ 深度解读

Peking University · Microsoft Research Asia

从无标注用户历史自动生成证据支撑的 QA 监督，用于迭代优化记忆存储、检索与上下文构造

📌 工作参考价值（4 点）

• 用自动生成的 QA-evidence 监督替代人工标注：在个性化记忆、用户画像、会话上下文的评估与优化中，可以从用户历史自动构建问题-答案-证据三元组，作为弱监督信号，避免昂贵的标注。
• 证据引导的失败归因：把错误响应定位到存储、检索或生成阶段，能精准指导设计修改。类似推荐系统中定位召回、排序或重排问题，提升迭代优化效率。
• 跨用户迁移 + 目标用户继续优化：先用一组用户学习共享记忆设计，再用目标用户历史生成的 QA 继续微调，适合冷启动场景。
• 盲答案恢复与源审计保证数据质量：合成数据必须通过可验证的检查才能用于训练或评估，这可以作为数据清洗和评估集构建的通用流程。

Agent | 2026-10-28 | HF Daily | score 8/10

Agent MemoryMemory OptimizationSynthetic QAEvidence GroundingLLM-as-a-Judge

Learning What to Remember: Long-horizon Counterfactual Memory Optimization

学习该记住什么：长时程反事实记忆优化

🧭 长时记忆优化 · 反事实信用分配 ★ 深度解读

University of Michigan

提出 MGPO 用反事实差分给每次记忆改写分配长时程增量效用，训练紧凑可迁移记忆策略

📌 工作参考价值（4 点）

• 在会话式推荐或多轮 Agent 中，对用户画像/上下文的每次更新，用反事实差分评估该更新对后续推荐或决策的增量价值，而不是仅用最终转化或奖励信号，能更准确地学习何时保留、丢弃或改写记忆。
• 工程上解耦记忆写入器与下游读取器（推荐模型/LLM），可以用小模型训练 compact 记忆生成策略，再服务于多个大模型，降低推理延迟和成本；论文中 8B writer + 14B reader 的组合可跨模型家族复用。
• 采用 potential-based reward shaping 技巧：从回报中减去更新前状态的未来效用作为控制变量，保持策略梯度无偏同时降低方差，训练更稳定。
• 对于长文档/长会话中延迟价值的信息，设计跨未来多个步骤的边际收益聚合，并用位置相关 EMA 归一化不同步长的回报，可借鉴到长时记忆策略的 RL 训练。

Training | 2026-09-29 | cs.CL | score 8/10

Memory OptimizationCounterfactual Credit AssignmentPPOLong-context LLMDocument-level IEPotential-based Reward Shaping

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

抹平长上下文 MoE 训练的所有显存峰值

🧭 长上下文 MoE 训练显存优化

Salesforce AI Research

针对长上下文 MoE 训练四大显存瓶颈提出四种精确调度，将 120B-667B 模型训练扩展到 1M 上下文，吞吐最高提升 10.4 倍

📌 工作参考价值（4 点）

• 若在业务中训练长上下文 MoE（如融合用户长期行为序列、Agent 记忆的推荐/广告模型），优先采用固定 GPU working set 的调度思路，而不是只看平均显存；PipelinedLLEP 与 Ring-DTP 都能在不改精度下显著压峰值。
• OffloadStreamAdamW 将 CPU optimizer offload 的串行 Adam 改为 bucket 流水线，能直接加速大规模 embedding/排序模型训练中的 offload 更新；若你已用 CPU offload 放优化器状态，可参照其分桶流水实现。
• SCO 只把 checkpoint 边界最占显存的长生命周期张量 offload 到 CPU，适合处理用户长序列的生成式推荐/Agent 轨迹训练，能在基本不增加复杂度的前提下扩大 context 长度。
• 这些方法只改变执行顺序和搬运粒度，梯度与 loss 严格一致，便于在 FSDP/Megatron 等框架上增量实现，风险低。

Training | 2026-09-12 | HF Daily | score 6/10

MoELong-Context TrainingMemory OptimizationExpert ParallelismCheckpoint OffloadOptimizer Offload

LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training

LazyTrain：有限资源下大模型训练的零浪费产出优化

🧭 LLM 训练资源调度优化

IDEA Research · The Hong Kong University of Science and Technology (Guangzhou) · DataArcTech Ltd.

将checkpoint选择、激活放置、重计算与CPU-GPU-NVMe通信重叠建模为混合整数调度，并耦合混合8-bit算子提升单卡训练效率

📌 工作参考价值（4 点）

• 层流式执行器上将 checkpoint 选择、激活 offload、重计算与 PCIe/NVMe 传输显式建模为混合整数调度问题，避免通信暴露在关键路径；自研微调平台或单卡多卡调度时可把“何时 offload/重计算”做成可求解策略而非硬编码规则。
• 8-bit 优化器状态与快速梯度裁剪耦合为混合算子，压缩优化器状态省显存，同时用快速裁剪掩盖 CPU 端更新延迟；适合 LoRA/QLoRA 或全参微调中优化器状态占显存大、需单卡大 batch 的场景。
• 消费级 GPU（RTX 3090）上最大可行 batch size 各模型规模可增加 1，能直接服务推荐/CTR/CVR 模型 LLM backbone 的对比学习、多任务微调，降低单卡试错成本。
• 离线求解调度策略、训练时执行的思想可迁移到推荐系统训练中，把 embedding offload、参数服务器通信、数据搬运也显式建模为调度问题，提升 GPU 利用率。

Training | 2026-08-12 | cs.CL | score 7/10

LLM TrainingOffloadingSchedulingMemory Optimization8-bit OptimizerLayer Streaming

LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget

LongStraw：固定GPU预算下的超长上下文RL训练

🧭 RL训练系统优化·长上下文 ★ 深度解读

MindLab · Fudan University

通过分离长提示状态捕获和串行响应回放，在固定GPU数下将GRPO训练上下文扩展至200万token以上

📌 工作参考价值（4 点）

• 长序列推荐模型训练：若需将用户长期行为序列（如200万长度）作为条件训练生成式推荐或Agent模型，可借鉴LongStraw的“捕获一次、回放多次”模式：用无梯度前向计算并保存固定大小的循环状态或压缩的KV页，然后仅对候选物品序列进行可微分回放，大幅削减峰值显存。
• 混合注意力架构选型：Qwen的48个循环层+16个全注意力层的设计启示：对于长历史处理，用循环层（如Gated DeltaNet）避免KV长度线性增长，仅保留少量全注意力层存储必要细粒度上下文，可平衡效果与显存。
• MoE训练中的多维并行布局：GLM同时使用CP（上下文并行）划分长序列和EP（专家并行）划分路由专家，可在固定机器数下扩展长序列训练。推荐系统中若有超大参数模型需处理长序列，可考虑类似并行策略，但需确保梯度完整聚合（论文指出当前未完成KV适配器梯度同步）。
• 训练系统设计原则：当显存成为长上下文瓶颈时，优先优化状态生命周期，而非单纯增加并行度。保留仅响应解码所需的状态，释放瞬态激活，并通过串行回放控制激活峰值。这种思路同样适用于大规模用户行为模型或Agent轨迹的离线RL训练。

Training | 2026-07-16 | cs.LG | score 8/10

Long-Context TrainingGRPOMemory OptimizationContext ParallelismActivation CheckpointingModel Architecture